home *** CD-ROM | disk | FTP | other *** search
/ Ham Radio 2000 #1 / Ham Radio 2000.iso / ham2000 / tcp_ip / unix / expnntp / expnntp.pat < prev    next >
Encoding:
Text File  |  1994-06-24  |  13.5 KB  |  499 lines
  1. *** expire.c_d    Sun Apr 17 15:13:10 1994
  2. --- expire.c    Fri Jun 24 14:23:10 1994
  3. ***************
  4. *** 23,28 ****
  5. --- 23,54 ----
  6.    * '/', '\' or '.' to indicate subdirectories.
  7.    * filename should NOT have the ending '.txt'
  8.    */
  9. + 
  10. + /* 25 March 1994
  11. +  * Expire now expires messages stored in the NNTP server format.
  12. +  * the additions to expire.dat 'sort of' follow the conventions for nntp
  13. +  * in other areas of nos, namely the delimiter for nntp groups is bang (!)
  14. +  * thus the format for expiring news items is
  15. +  * !<newsgroup-name> age     for example  !ampr.vk5 21
  16. +  * age still defaults to 21 days if not specified.
  17. +  * automatic active and history file updates are done on each firing of
  18. +  * the expiry process, only if at least one newsgroup was processed.
  19. +  * all records are treated the same in the history file, and are expired
  20. +  * when older than the largest number of days specified for any newsgroup.
  21. +  * numbers of expiries in groups and history are both logged if > 0
  22. +  * if you have any ideas on the above, dont keep them to yourself !! ;-)
  23. +  * this code is not rigorously tested :-) vk5xxx march 1994
  24. +  *
  25. +  * April 7 1994
  26. +  * added test for articles to ensure they are numeric. nos uses other control
  27. +  * files in the newsgroup area (namely news.rc), nntp_expire would expire
  28. +  * these happily, and update_nntp_active wqas confused by them (start = 0)
  29. +  *
  30. +  * June 25 1994
  31. +  * Update the news.rc file with the lowest article number when the news.rc
  32. +  * number is invalid.
  33. +  */
  34. + 
  35.   #ifdef MSDOS
  36.   #include <dir.h>
  37.   #include <dos.h>
  38. ***************
  39. *** 41,46 ****
  40. --- 67,76 ----
  41.   #include "smtp.h"
  42.   #include "socket.h"
  43.   #include "index.h"
  44. + #ifdef NNTPS
  45. + #include "dirutil.h"   /* NNTP expire */
  46. + #include <limits.h>    /* NNTP expire */
  47. + #endif
  48.   
  49.   #ifdef LINUX
  50.   extern int unlink __ARGS((char *));
  51. ***************
  52. *** 99,104 ****
  53. --- 129,144 ----
  54.   static void expire __ARGS((char *,int));
  55.   static void Oldbidtick __ARGS((void *p));
  56.   
  57. + #ifdef NNTPS /* for NNTP expiry */
  58. + /* NNTP Expire stuff */
  59. + static void expire_nntp __ARGS((char *, int));
  60. + static void update_nntp_history __ARGS((int));
  61. + static void update_nntp_active __ARGS((void));
  62. + static void update_newsrc __ARGS((int, int, char *));
  63. + static int convert_num __ARGS((char **));
  64. + static char *newsgroup_to_path __ARGS((char *));
  65. + #endif
  66. + 
  67.   int
  68.   doexpire(argc,argv,p)
  69.   int argc;
  70. ***************
  71. *** 140,145 ****
  72. --- 180,189 ----
  73.   void *v1, *v2;
  74.   {
  75.       char line[80];
  76. + 
  77. + #ifdef NNTPS /* for NNTP expiry */
  78. +     int expire_nntp_history = 0;
  79. + #endif
  80.       int age;
  81.       char *cp;
  82.       FILE *ctl;
  83. ***************
  84. *** 152,158 ****
  85. --- 196,207 ----
  86.       /* read lines from the control file */
  87.       while(fgets(line, sizeof(line), ctl) != NULLCHAR) {
  88.           pwait(NULL); /* be nice */
  89. + #ifdef NNTPS /* for NNTP expiry */
  90.           if((*line == '#') || (*line == '\n')) /* comment or blank line */
  91. + #endif
  92. + #ifndef NNTPS /* for NNTP expiry */
  93. +         if((*line == '#') || (*line == '!') || (*line == '\n')) /* comment or blank line */
  94. + #endif
  95.               continue;
  96.           rip(line);
  97.           /* terminate area name */
  98. ***************
  99. *** 163,174 ****
  100. --- 212,533 ----
  101.               age = atoi(cp);
  102.           }
  103.           pwait(NULL); /* be nice */
  104. + #ifdef NNTPS /* for NNTP expiry */
  105. +         if (*line == '!')   /* Expire NNTP entry if line begins with ! */ {
  106. +             expire_nntp(&line[1], age);
  107. +             if (expire_nntp_history < age)
  108. +                 expire_nntp_history = age;
  109. +         }
  110. +         else
  111. + #endif
  112.               expire(line, age);
  113.       }
  114.       fclose(ctl);
  115. + #ifdef NNTPS /* for NNTP expiry */
  116. +     if (expire_nntp_history) {
  117. +         update_nntp_history(expire_nntp_history);
  118. +         update_nntp_active();  /* and news.rc */
  119. +     }
  120. + #endif
  121.       Eproc = 0;
  122.   }
  123.   
  124. + #ifdef NNTPS /* for NNTP expiry */
  125. + /*
  126. +         expire nntp articles - the kludgomatic version.
  127. +         these routines probably arent memory friendly, but they work.
  128. +         more work needs to be done to make it meld more nicely into nos.
  129. +         coded by brett england (future amateur) and rob vk5xxx.
  130. + */
  131. + static
  132. + int
  133. + convert_num( p )
  134. + char **p;
  135. + {
  136. +     int i;
  137. +     char *pp = *p;
  138. + 
  139. +     i = (*pp - '0') * 10 + *(pp+1) - '0';
  140. +     (*p)+=2;
  141. +     return (i);
  142. + }
  143. + 
  144. + static
  145. + void
  146. + update_nntp_history(age)
  147. + int age;
  148. + {
  149. +   FILE *old, *new;
  150. +   char bckfile[FILE_PATH_SIZE];
  151. +   char line[LINELEN];
  152. +   char *p;
  153. +   struct tm tm_time;
  154. +   time_t expire_time, file_time, now;
  155. +   int history_records_expired = 0;
  156. + 
  157. +   while(mlock(Newsdir,"history"))
  158. +     pause(10000L);
  159. + 
  160. + 
  161. +   expire_time = (long)age * 24L * 60L * 60L;  /* days to seconds */
  162. +   time(&now);
  163. + 
  164. +   /* Rename the history file, and use it to expire messages
  165. +   */
  166. +   sprintf(bckfile,"%s.bak",History);
  167. +   unlink(bckfile);
  168. +   if(rename(History,bckfile) == -1) {
  169. +       log(-1,"NNTP Expire History: Can't rename %s to %s",History, bckfile);
  170. +       return;
  171. +   }
  172. + 
  173. +   if((old = fopen(bckfile,"rt")) == NULL) {
  174. +       log(-1,"NNTP Expire History: Can't open file %s for read", bckfile);
  175. +       return;
  176. +   }
  177. + 
  178. +   if((new = fopen(History,"wt")) == NULL) {
  179. +       log(-1,"NNTP Expire History: Can't open file %s for write",History);
  180. +       return;
  181. +   }
  182. + 
  183. +   for(;;) {
  184. +     if(fgets(line, LINELEN, old) == NULL)
  185. +         break;
  186. + 
  187. +     p = line;
  188. +     while (*p != '\0' && *p != '>')
  189. +        p++;
  190. +     if (*p != '>')  /* Some sort of corrupt line */
  191. +         continue;
  192. +     p+=2;
  193. +     tm_time.tm_year = convert_num(&p);
  194. +     tm_time.tm_mon = convert_num(&p)-1;
  195. +     tm_time.tm_mday = convert_num(&p);
  196. +     p++;   /* Point to time component */
  197. +     tm_time.tm_hour = convert_num(&p);
  198. +     tm_time.tm_min = convert_num(&p);
  199. +     tm_time.tm_sec = 0;
  200. + 
  201. +     file_time = mktime(&tm_time);
  202. + 
  203. +     if (file_time > ( now - expire_time ))
  204. +       fputs(line, new);
  205. +     else
  206. +       history_records_expired++;
  207. +   }
  208. + 
  209. +   fclose(new);
  210. +   fclose(old);
  211. +   rmlock(Newsdir,"history");
  212. + 
  213. +   if(history_records_expired > 0)
  214. +     log(-1,"NNTP History: Expired %d records ...", history_records_expired);
  215. + }
  216. + 
  217. + /* Check the news.rc file if the number contained is less than min
  218. +    replace the news.rc file contents with min.
  219. + */
  220. + static
  221. + void
  222. + update_newsrc( min, max, path )
  223. +   int min, max;
  224. +   char *path;
  225. + {
  226. +   FILE *newsrcfd;
  227. +   char news_file[FILE_PATH_SIZE], line[LINELEN];
  228. +   int no;
  229. + 
  230. +   sprintf(news_file,"%s/news.rc",path);
  231. +   if((newsrcfd = fopen(news_file,"rt")) == NULL) {
  232. +       log(-1,"NNTP News: Can't open file %s for read", news_file);
  233. +       return;
  234. +   }
  235. + 
  236. +   fgets(line, LINELEN, newsrcfd);
  237. +   fclose(newsrcfd);
  238. + 
  239. +   no = atoi(line);
  240. +   if((no < min) || (no > max)) {
  241. +     if((newsrcfd = fopen(news_file,"wt")) == NULL) {
  242. +         log(-1,"NNTP News: Can't open file %s for write", news_file);
  243. +         return;
  244. +     }
  245. +     fprintf(newsrcfd,"%d",min);
  246. +     fclose(newsrcfd);
  247. +   }
  248. + }
  249. + 
  250. + /* Update the active file and return the lowest news article
  251. + */
  252. + static
  253. + void
  254. + update_nntp_active() {
  255. +   FILE *old, *new;
  256. +   char bckfile[FILE_PATH_SIZE];
  257. +   char line[LINELEN];
  258. +   char *p, *path, *rpath;
  259. +   int min, max;
  260. +   int command, file_num;
  261. +   struct ffblk *file;
  262. + 
  263. +   /* Rename the active file
  264. +   */
  265. +   sprintf(bckfile,"%s.bak",Active);
  266. +   unlink(bckfile);
  267. +   if(rename(Active,bckfile) == -1) {
  268. +       log(-1,"NNTP Active: Can't rename %s to %s",Active, bckfile);
  269. +       return;
  270. +   }
  271. + 
  272. +   if((old = fopen(bckfile,"rt")) == NULL) {
  273. +       log(-1,"NNTP Active: Can't open file %s for read", bckfile);
  274. +       return;
  275. +   }
  276. + 
  277. +   if((new = fopen(Active,"wt")) == NULL) {
  278. +       log(-1,"NNTP Active: Can't open file %s for write",Active);
  279. +       return;
  280. +   }
  281. + 
  282. +   file = (struct ffblk *)mallocw(sizeof(struct ffblk));
  283. +   for(;;) {
  284. +     if(fgets(line, LINELEN, old) == NULL)
  285. +        break;
  286. + 
  287. +     p = line;
  288. +     while (*p != '\0' && ! isspace(*p))
  289. +       p++;
  290. +     if (*p == '\0')
  291. +       continue;
  292. +     *p = '\0';
  293. + 
  294. +     p++;
  295. +     while(*p != '\0' && (isspace(*p) || isdigit(*p)))
  296. +         p++;
  297. + 
  298. +     rpath = newsgroup_to_path( line );
  299. +     path = wildcardize(rpath);
  300. + 
  301. +     command = 0;
  302. +     min = INT_MAX;
  303. +     max = INT_MIN;
  304. +     for(;;) {
  305. +         if (!nextname(command, path, file))
  306. +             break;
  307. +         command = 1;   /* Find next */
  308. + 
  309. +         if (file->ff_name[0] == '.')
  310. +             continue;  /* ignore . and .. */
  311. + 
  312. +         file_num = atoi(file->ff_name);
  313. +         if (file_num > 0) {     /* should always be greater than 0 */
  314. +             if (file_num < min)
  315. +                 min = file_num;
  316. +             if (file_num > max)
  317. +                 max = file_num;
  318. +         } 
  319. +     }
  320. +     if (min == INT_MAX && max == INT_MIN) { /* No files */
  321. +         min = 1;
  322. +         max = 0;
  323. +     }
  324. +     update_newsrc(min, max, rpath);
  325. + 
  326. +     fprintf(new,"%s %05d %05d %s", line, max, min, p);
  327. +   }
  328. +   fclose(new);
  329. +   fclose(old);
  330. +   free(file);
  331. + }
  332. + 
  333. + static
  334. + char
  335. + *newsgroup_to_path( group )
  336. + char *group;
  337. + {
  338. +     FILE *f;
  339. +     static char line[LINELEN];
  340. +     char *cp;
  341. + 
  342. +     if((f = fopen(Pointer,"r")) == NULL)
  343. +         return((char *)NULL);
  344. + 
  345. +     for (;;) {
  346. +         if (fgets(line,LINELEN,f) == NULL)
  347. +             break;
  348. + 
  349. +         if (strcspn(line," ") != strlen(group))
  350. +             continue;
  351. + 
  352. +         if (strnicmp(group,line,strlen(group)) == 0) {
  353. +             cp = (strchr(line,' ')) + 1;
  354. + 
  355. +             rip(cp);
  356. +             fclose(f);
  357. +             return (cp);
  358. +         }
  359. +     }
  360. +     fclose(f);
  361. +     return (NULL);
  362. + }
  363. + 
  364. + void
  365. + expire_nntp(nntp_name, age)
  366. + char *nntp_name;
  367. + int age;
  368. + {
  369. +     char *path;
  370. +     int command = 0;
  371. +     struct ffblk file;
  372. +     struct tm tm_time;
  373. +     time_t file_time, expire_time, now;
  374. +     char nntp_file[FILE_PATH_SIZE];
  375. +     char save_path[FILE_PATH_SIZE];
  376. +     int file_num, expired = 0;
  377. + 
  378. +     /* Resolve nntp name into directory path */
  379. +     if ((path = newsgroup_to_path( nntp_name )) == NULL)
  380. +         return;
  381. + 
  382. +     expire_time = (long)age * 24L * 60L * 60L;
  383. +     time(&now);
  384. +     strcpy(save_path, path);
  385. +     path = wildcardize(path);
  386. + 
  387. +     for(;;) {
  388. +         if (!nextname(command, path, &file))
  389. +             break;
  390. +         command = 1;   /* Find next */
  391. + 
  392. +         if (file.ff_name[0] == '.')
  393. +             continue;  /* ignore . and .. */
  394. + 
  395. +         file_num = atoi(file.ff_name);
  396. +         /* should always be greater than 0 for a valid nntp article */
  397. +         if (file_num > 0) {
  398. +             /* only expire a file that is numeric :-) */
  399. +             tm_time.tm_sec = 0;  /* DOS doesn't store this */
  400. +             tm_time.tm_min = (file.ff_ftime >> 5) & 0x3f;
  401. +             tm_time.tm_hour = (file.ff_ftime >> 11) & 0x1f;
  402. +             tm_time.tm_mday = file.ff_fdate & 0x1f;
  403. +             tm_time.tm_mon = ((file.ff_fdate >> 5) & 0xf)-1;
  404. +             tm_time.tm_year = (file.ff_fdate >> 9) + 80;
  405. + 
  406. +             file_time = mktime(&tm_time);
  407. + 
  408. +             if (( now - expire_time ) > file_time) {
  409. +                  sprintf(nntp_file, "%s/%s", save_path, file.ff_name);
  410. +                  unlink(nntp_file);
  411. +                  expired++;
  412. +             }
  413. +         }
  414. +     }
  415. +     if(expired)
  416. +         log(-1,"NNTP Expired: %d in %s",expired, nntp_name);
  417. + }
  418. + #endif /*nntps*/
  419. + 
  420.   void
  421.   expire(filename,age)
  422.   char *filename;
  423. *** dirutil.h_d    Sun Apr 17 15:15:26 1994
  424. --- dirutil.h    Fri Jun 24 13:41:42 1994
  425. ***************
  426. *** 34,39 ****
  427. --- 34,41 ----
  428.   extern int findfirst(char *pat, struct ffblk *ff, int attr);
  429.   extern int findnext(struct ffblk *ff);
  430.   
  431. + #else
  432. + #include <dir.h>
  433.   #endif
  434.   
  435.   struct cur_dirs {
  436. ***************
  437. *** 55,60 ****
  438. --- 57,67 ----
  439.   void free_dirs(struct cur_dirs * dirs);
  440.   int dir_ok(char * path,struct cur_dirs * dirs);
  441.   int dircmd __ARGS((int argc,char *argv[],void *p));
  442. + 
  443. + /* Made public for nntp expiry */
  444. + int nextname __ARGS((int command, char *name, struct ffblk *sbuf));
  445. + char *wildcardize __ARGS((char *path));
  446. + 
  447.   #ifdef MSDOS
  448.   int dosfnchr __ARGS((int ch));
  449.   #endif
  450. *** dirutil.c_d    Sun Apr 17 15:13:06 1994
  451. --- dirutil.c    Fri Jun 24 12:01:34 1994
  452. ***************
  453. *** 55,64 ****
  454.   #ifdef  notdef
  455.   static int getdir_nosort __ARGS((char *path,int full,FILE *file));
  456.   #endif
  457. - static int nextname __ARGS((int command, char *name, struct ffblk *sbuf));
  458.   static void print_free_space __ARGS((char *path,FILE *file,int n));
  459.     
  460. - static char *wildcardize __ARGS((char *path));
  461.   extern void crunch __ARGS((char *buf,char *path));
  462.     
  463.   #define REGFILE (FA_DIREC)
  464. --- 55,62 ----
  465. ***************
  466. *** 85,91 ****
  467.   }
  468.     
  469.   /* find the first or next file and lowercase it. */
  470. ! static int
  471.   nextname(command, name, sbuf)
  472.   int command;
  473.   char *name;
  474. --- 83,89 ----
  475.   }
  476.     
  477.   /* find the first or next file and lowercase it. */
  478. ! int
  479.   nextname(command, name, sbuf)
  480.   int command;
  481.   char *name;
  482. ***************
  483. *** 305,311 ****
  484.   }
  485.     
  486.   /* fix up the filename so that it contains the proper wildcard set */
  487. ! static char *
  488.   wildcardize(path)
  489.   char *path;
  490.   {
  491. --- 303,309 ----
  492.   }
  493.     
  494.   /* fix up the filename so that it contains the proper wildcard set */
  495. ! char *
  496.   wildcardize(path)
  497.   char *path;
  498.   {
  499.